标准深度强化学习（DRL）旨在考虑收集的经验在制定政策方面的经验，旨在最大程度地提高预期奖励。这与人类决策不同，在人类的决策中，收益和损失的重视程度有所不同，而外围的结果被越来越多。它也无法利用通过合并分配环境来提高安全性和/或绩效的机会。已经研究了几种分配DRL的方法，其中一种流行的策略是评估预计的可能行动收益分配。我们提出了一种更直接的方法，通过优化了根据全剧集奖励的分布累积分布函数（CDF）指定的风险敏感目标。这种方法允许根据相对质量权衡结果，可用于连续和离散的动作空间，并且自然可以在约束和不受约束的设置中应用。我们展示了如何通过抽样来计算广泛的风险敏感目标的政策梯度的渐近一致估计，随后纳入了降低方差和正则化措施，以促进有效的实质性学习。然后，我们证明使用中等“悲观”的风险概况，强调了代理商表现不佳的场景，从而导致了增强的探索，并不断地专注于解决缺陷。我们在六个OpenAI安全健身房环境中使用不同的风险概况测试了该方法，与最先进的政策方法相比。没有成本限制，我们发现悲观的风险概况可用于降低成本，同时改善总奖励积累。借助成本限制，他们可以以规定的允许成本提供比风险中立的方法更高的积极奖励。
translated by 谷歌翻译
这项工作报告了开发针对腿部机器人地形遍历性建模的深层增强学习方法，该方法既包含了外部感受和本体感受性的感觉数据。现有作品使用机器人不合时宜的外部感受的环境特征或手工制作的运动功能；取而代之的是，我们建议还从本体感受的感官数据中学习机器人特异性惯性特征，以在单个深层神经网络中奖励近似。合并惯性功能可以改善模型保真度，并提供取决于在部署过程中机器人状态的奖励。我们使用最大熵深的逆增强学习（Medirl）算法训练奖励网络，并同时提出最大程度地减少轨迹排名损失，以应对腿部机器人示范的次优。所证明的轨迹通过运动能源消耗来排名，以学习能源感知的奖励功能和比示范更节能的政策。我们使用MIT Mini-Cheetah机器人和Mini-Cheetah模拟器收集的数据集评估我们的方法。该代码可在https://github.com/ganlumomo/minicheetah-traversability-irl上公开获得。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
最近关于神经象征性归纳逻辑编程的工作导致了有希望的方法，可以从嘈杂，现实世界数据中学习解释规则。虽然一些提议近似逻辑运算符，具有不同的逻辑，从模糊或实际值逻辑，无参数，从而无参数，从而减少它们适合数据的容量，其他方法仅基于逻辑摆动，使得难以解释学习的“规则”。在本文中，我们提出了与最近提出的逻辑神经网络（LNN）的学习规则。与其他人相比，LNN与经典布尔逻辑的强大连接，从而允许精确地解释学习规则，同时覆盆可以用基于梯度的优化训练的参数来有效地拟合数据。我们将LNN扩展以在一阶逻辑中引导规则。我们对标准基准测试任务的实验证实，LNN规则是高度可解释的，并且由于其灵活的参数化而可以实现可比或更高的准确性。
translated by 谷歌翻译
异常气道扩张，称为牵引支气管扩张，是特发性肺纤维化（IPF）的典型特征。体积计算断层扫描（CT）成像捕获IPF中逐渐变细的丢失。我们假设气道异常的自动化量化可以提供IPF疾病程度和严重程度的估算。我们提出了一种自动化计算管道，系统地将气道树木从基于深度学习的气道分割中划分到其裂片和世代分支，从而从胸部CT获得气道结构措施。重要的是，透气阻止通过厚波传播的杂散气道分支的发生，并通过图表搜索去除气道树中的环，克服现有气道骨架算法的限制。在14名健康参与者和14名IPF患者之间比较了透气段（跨空间）和透气曲线曲线之间的逐渐变化。 IPF患者中，Airway interberering显着降低，与健康对照相比，Airway曲线曲调显着增加。差异在下叶中最大标记，符合IPF相关损伤的典型分布。透气是一种开源管道，避免了现有的气道定量算法的限制，并具有临床解释性。自动化气道测量可能具有作为IPF严重程度和疾病程度的新型成像生物标志物。
translated by 谷歌翻译
本文介绍了机器人系统的安全关键控制的框架，当配置空间中的安全区域上定义了安全区域时。为了保持安全性，我们基于控制屏障函数理论综合安全速度而不依赖于机器人的A可能复杂的高保真动态模型。然后，我们跟踪跟踪控制器的安全速度。这使得在无模型安全关键控制中。我们证明了拟议方法的理论安全保障。最后，我们证明这种方法是适用于棘手的。我们在高保真仿真中使用SEGWAY执行障碍避免任务，以及在硬件实验中的无人机和Quadruped。
translated by 谷歌翻译
AI正在经历范式转变，随着模型的兴起（例如Bert，Dall-E，GPT-3），这些模型经过大规模的数据训练，并且可以适应广泛的下游任务。我们称这些模型基础模型来强调其至关重要但不完整的特征。该报告提供了基础模型的机会和风险的详尽说明，包括其功能（例如语言，愿景，机器人技术，推理，人类互动）和技术原则（例如，模型架构，培训程序，数据，系统，安全，安全性，评估，理论）对其应用（例如法律，医疗保健，教育）和社会影响（例如不平等，滥用，经济和环境影响，法律和道德考虑）。尽管基础模型基于标准的深度学习和转移学习，但它们的规模导致了新的新兴能力，以及它们在许多任务中的有效性都激发了同质化。同质化提供了强大的杠杆作用，但要求谨慎，因为基础模型的缺陷均由下游的所有适应模型继承。尽管即将广泛地部署基础模型，但我们目前对它们的工作方式，失败以及由于其新兴属性的影响而缺乏清晰的了解。为了解决这些问题，我们认为基础模型的许多批判性研究都需要与他们的基本社会技术性质相称。
translated by 谷歌翻译
在他们的损失景观方面观看神经网络模型在学习的统计力学方法方面具有悠久的历史，并且近年来它在机器学习中得到了关注。除此之外，已显示局部度量（例如损失景观的平滑度）与模型的全局性质（例如良好的泛化性能）相关联。在这里，我们对数千个神经网络模型的损失景观结构进行了详细的实证分析，系统地改变了学习任务，模型架构和/或数据数量/质量。通过考虑试图捕获损失景观的不同方面的一系列指标，我们证明了最佳的测试精度是如下：损失景观在全球连接;训练型模型的集合彼此更像;而模型会聚到局部平滑的地区。我们还表明，当模型很小或培训以较低质量数据时，可以出现全球相连的景观景观;而且，如果损失景观全球相连，则培训零损失实际上可以导致更糟糕的测试精度。我们详细的经验结果阐明了学习阶段的阶段（以及后续双重行为），基本与偶然的决定因素良好的概括决定因素，负载样和温度相同的参数在学习过程中，不同的影响对模型的损失景观的影响不同和数据，以及地方和全球度量之间的关系，近期兴趣的所有主题。
translated by 谷歌翻译
治疗效应的预测方法异质性陈述的重点是基线风险，作为治疗效果的强大预测指标，并为RCT环境中基于风险的治疗效应异质性提供了指导。这项研究的目的是使用标准化的可伸缩框架将这种方法扩展到观测设置。拟议的框架包括五个步骤：1）研究目的的定义，即人口，治疗，比较者和感兴趣的结果； 2）识别相关数据库； 3）开发感兴趣结果的预测模型； 4）在调整观察到的混杂状态后，对预测风险的层中相对和绝对治疗效果的估计； 5）结果。我们通过评估血管紧张素转换酶（ACE）抑制剂与β受体阻滞剂对三个疗效和三个观测数据库中的六个安全结果的影响来证明我们的框架。提出的框架可以补充任何比较有效性研究。我们提供了一个公开可用的R软件包，以将此框架应用于映射到观察性医学结果伙伴关系伙伴关系模型的任何数据库。在我们的演示中，急性心肌梗死风险低的患者对所有三种疗效结果都获得了可忽略的绝对收益，尽管他们在最高风险季度更为明显，尤其是对于心力衰竭的住院治疗。但是，即使调整了观察到的混杂，诊断失败也显示出残余失衡的证据。我们的框架允许评估风险层面的差异治疗效果，这为考虑替代治疗之间的利益障碍权衡提供了机会。
translated by 谷歌翻译
Making histopathology image classifiers robust to a wide range of real-world variability is a challenging task. Here, we describe a candidate deep learning solution for the Mitosis Domain Generalization Challenge 2022 (MIDOG) to address the problem of generalization for mitosis detection in images of hematoxylin-eosin-stained histology slides under high variability (scanner, tissue type and species variability). Our approach consists in training a rotation-invariant deep learning model using aggressive data augmentation with a training set enriched with hard negative examples and automatically selected negative examples from the unlabeled part of the challenge dataset. To optimize the performance of our models, we investigated a hard negative mining regime search procedure that lead us to train our best model using a subset of image patches representing 19.6% of our training partition of the challenge dataset. Our candidate model ensemble achieved a F1-score of .697 on the final test set after automated evaluation on the challenge platform, achieving the third best overall score in the MIDOG 2022 Challenge.
translated by 谷歌翻译